Pada tahun 1952, Feynman mengahwini Mary Louise Bell, tetapi perkahwinan mereka tidak bahagia dan selepas suatu tempoh yang singkat, mereka bercerai. Feynman kemudian berkahwin dengan Gweneth Howarth dan dikurniai seorang anak lelaki, Carl. Mereka kemudian mengambil seorang anak angkat, Michelle.

Menurut seorang rakan sekerja Feynman, hanya beliau yang membeli insuran untuk banjir selepas sebuah kebakaran hutan di daerah rumahnya pada tahun 1978. Selepas hujan pada musim sejuk tahun 1979, sebuah banjir memang berlaku, tetapi rumah Feynman selamat. Feynman meramalkan dengan tepat bahawa kebakaran tahun 1978 akan mengakibatkan hakisan tanah yang turut mengakibatkan kebanjiran.

Feynman juga gemar melancong, terutamanya ke Brazil. Pada tahun-tahun akhirnya, beliau sering merancang untuk melawat Tuva di Rusia tetapi gagal kerana kemerosotan hubungan antara Amerika Syarikat dan Rusia. Kegemarannya termasuk bermain dram (frigideira ) dalam gaya samba Brazil, membuka peti terkunci, serta menterjemahkan hieroglif Maya. Ada khabar angin bahawa Feynman telah menguji kaji dengan dadah seperti LSD dan ganja, dan Feynman nampaknya mengelakkan perbincangan isu ini dalam autobiografinya, Sudah Tentu Anda Berlawak, Mr. Feynman!  (Surely You're Joking, Mr. Feynman! ). Buku ini juga menunjukkan pendapat terbukanya terhadap isu seks. Misalnya, Feynman menasihati pembaca tentang cara yang terbaik untuk bermesra-mesra dengan pelayan bar untuk menidurinya.

Antara tugas-tugas terakhir Feynman sebagai profesional ialah pelantikannya kepada Suruhanjaya Rogers yang menyiasat bencana bolak-balik angkasa lepas Challenger pada tahun 1986. Beliau mencapai kemasyhuran apabila beliau menunjukkan peranan yang dimainkan oleh gelang-O penggalak roket dalam malapetaka itu kepada para penonton televisyen. Beliau membuat demonstrasinya mudah difahami dengan menggunakan hanya segelas air dengan ais, sebuah pengapit, dan sedikit bahan gelang-O. Pendapat beliau tentang sebab malapetaka Challenger amat berbeza dengan pendapat rasmi laporan Suruhanjaya Rogers, dan lebih mengkritik pihak pengurusan kerana tidak mempedulikan perkara-perkara yang dikemukakan oleh para juruteranya. Selepas sebuah rayuan, laporan Feynman dimasukkan ke dalam laporan rasmi sebagai lampiran.

Pada tahun 1987, Feynman jatuh sakit kerana menghidap barah. Walaupun doktornya telah mendiagnosis penyakit itu beberapa tahun dahulu, beliau tidak menganggapnya begitu teruk. Akhirnya, selepas pembedahan menerukkan keadaannya, beliau enggan menerima sebarang pembedahan atau perubatan lagi. Perkataan terakhirnya sebelum beliau meninggal dunia pada 15 Februari 1988 adalah: "Kematian ini begitu bosan", menurut Joan Feynman, adik perempuannya. Feynman dikebumikan bersama Gweneth, isterinya yang meninggal dunia pada 1989, di Perkuburan Mountain View, Altadena, California.